1
00:00:05,580 --> 00:00:08,820
因此，让我们谈谈变压器的碳足迹。

2
00:00:08,820 --> 00:00:10,530
您可能已经看到这样的标题

3
00:00:10,530 --> 00:00:13,530
表明需要单个AI模型会引起如此多的二氧化碳排放

4
00:00:13,530 --> 00:00:16,020
他们一生中的五辆车。

5
00:00:16,020 --> 00:00:19,440
那么，什么时候是真的，它总是正确的吗？

6
00:00:19,440 --> 00:00:21,803
实际上，这取决于几件事。

7
00:00:21,803 --> 00:00:23,430
最重要的是它取决于
8
00:00:23,430 --> 00:00:24,960
关于您使用的能量类型。

8
00:00:24,960 --> 00:00:26,267
如果您使用可再生能源，例如

9
00:00:26,267 --> 00:00:30,670
太阳能、风能、水力发电，你不排放

10
00:00:30,670 --> 00:00:33,810
根本不是真正的碳。非常非常少。

11
00:00:33,810 --> 00:00:36,769
如果您使用煤炭等不可再生能源

12
00:00:36,769 --> 00:00:39,570
那么碳足迹要高得多

13
00:00:39,570 --> 00:00:43,260
因为你实际上排放了大量的温室气体。

14
00:00:43,260 --> 00:00:44,670
另一个方面是训练时间。

15
00:00:44,670 --> 00:00:47,232
所以你训练的时间越长，消耗的能量就越多。

16
00:00:47,232 --> 00:00:50,250
您使用的能源越多，排放的碳就越多。

17
00:00:50,250 --> 00:00:51,270
所以它加起来。

18
00:00:51,270 --> 00:00:53,520
特别是如果你训练大型模型

19
00:00:53,520 --> 00:00:56,460
数小时、数天和数周。

20
00:00:56,460 --> 00:00:58,380
您使用的设备也很重要

21
00:00:58,380 --> 00:01:00,930
例如，因为某些 GPU 效率更高

22
00:01:00,930 --> 00:01:05,459
比其他人更好，因此使用 GPU

23
00:01:05,459 --> 00:01:07,500
始终高效、正确、100%，

24
00:01:07,500 --> 00:01:10,650
确实可以减少您的能源消耗。

25
00:01:10,650 --> 00:01:13,290
再次，减少碳足迹。

26
00:01:13,290 --> 00:01:15,870
还有IO等其他方面

27
00:01:15,870 --> 00:01:17,730
比如数据等等

28
00:01:17,730 --> 00:01:20,940
但这是您需要集中精力的三个主要主要。

29
00:01:20,940 --> 00:01:23,340
因此，当我谈论能源和碳强度来源时

30
00:01:23,340 --> 00:01:24,420
真的意味着什么？

31
00:01:24,420 --> 00:01:27,480
因此，如果您看屏幕顶部

32
00:01:27,480 --> 00:01:30,480
你有碳足迹

33
00:01:30,480 --> 00:01:33,860
印度孟买的云计算体的

34
00:01:33,860 --> 00:01:38,700
每千瓦时排放920克二氧化碳。

35
00:01:38,700 --> 00:01:40,110
几乎是一公斤

36
00:01:40,110 --> 00:01:43,680
每千瓦时使用的电力二氧化碳。

37
00:01:43,680 --> 00:01:45,150
如果您将其与加拿大的蒙特利尔进行比较，

38
00:01:45,150 --> 00:01:48,720
我现在的情况是，每公里每小时排放 20 克二氧化碳。

39
00:01:48,720 --> 00:01:50,040
所以这是一个非常非常大的区别。

40
00:01:50,040 --> 00:01:54,240
碳排放量增加近 40 倍

41
00:01:54,240 --> 00:01:55,950
孟买比蒙特利尔多。

42
00:01:55,950 --> 00:01:57,720
所以它真的可以加起来。

43
00:01:57,720 --> 00:01:59,820
例如，如果您训练模型几周

44
00:01:59,820 --> 00:02:01,920
你乘以 40

45
00:02:01,920 --> 00:02:03,450
你排放的碳。

46
00:02:03,450 --> 00:02:05,070
因此，选择正确的实例，

47
00:02:05,070 --> 00:02:07,080
选择低碳计算实例，

48
00:02:07,080 --> 00:02:09,690
这确实是你能做的最重要的事情。

49
00:02:09,690 --> 00:02:13,020
这就是它真正堆积起来的地方

50
00:02:13,020 --> 00:02:15,930
如果你训练非常密集

51
00:02:15,930 --> 00:02:17,580
位于碳密集地区。

52
00:02:19,170 --> 00:02:21,750
其他需要考虑的事情，例如

53
00:02:21,750 --> 00:02:22,770
使用预先训练的模型。

54
00:02:22,770 --> 00:02:25,590
这相当于机器学习的再训练。

55
00:02:25,590 --> 00:02:28,292
当您有预先训练的模型时，您可以使用它们。

56
00:02:28,292 --> 00:02:30,120
你根本不排放任何碳。

57
00:02:30,120 --> 00:02:31,230
你没有重新训练任何东西。

58
00:02:31,230 --> 00:02:33,450
所以它也在做你的功课

59
00:02:33,450 --> 00:02:35,574
看看已经存在的东西。

60
00:02:35,574 --> 00:02:37,890
Finetuner 而不是从头开始训练。

61
00:02:37,890 --> 00:02:38,723
所以再一次，

62
00:02:38,723 --> 00:02:40,590
如果您找到几乎符合您需求的型号

63
00:02:40,590 --> 00:02:43,530
但不完全是，微调最后一层

64
00:02:43,530 --> 00:02:45,210
以便它真正符合您的目标。

65
00:02:45,210 --> 00:02:46,500
而不是造成一个大变压器

66
00:02:46,500 --> 00:02:48,810
从头开始。这真的很有帮助。

67
00:02:48,810 --> 00:02:51,270
从小实验开始

68
00:02:51,270 --> 00:02:52,800
并随时进行调试。

69
00:02:52,800 --> 00:02:54,630
这意味着，例如，

70
00:02:54,630 --> 00:02:58,770
了解数据编码，

71
00:02:58,770 --> 00:03:01,170
确保没有小错误，这样你就会

72
00:03:01,170 --> 00:03:03,840
经过16个小时的训练后，我意识到了。

73
00:03:03,840 --> 00:03:05,820
从小事做起，真正确保

74
00:03:05,820 --> 00:03:08,760
你正在做的事情，你的代码是稳定的。

75
00:03:08,760 --> 00:03:11,430
最后，进行文献综述

76
00:03:11,430 --> 00:03:13,740
选择超参数范围然后继续

77
00:03:13,740 --> 00:03:15,900
使用随机搜索而不是网格搜索。

78
00:03:15,900 --> 00:03:18,420
搜索超参数组合

79
00:03:18,420 --> 00:03:21,300
随机样本已被证明同样有效

80
00:03:21,300 --> 00:03:24,000
为了找到最佳配置，通过网格进行研究。

81
00:03:24,000 --> 00:03:27,510
但是显然，您不会尝试所有可能的组合，

82
00:03:27,510 --> 00:03:29,520
您只尝试一个子集。

83
00:03:29,520 --> 00:03:31,800
因此，它非常有用。

84
00:03:31,800 --> 00:03:32,760
所以现在我们回来

85
00:03:32,760 --> 00:03:36,300
在Strubell等人的原始文章中。从2019年开始

86
00:03:36,300 --> 00:03:39,180
关于五辆车的生命的臭名昭著的纸。

87
00:03:39,180 --> 00:03:40,013
如果你看

88
00:03:40,013 --> 00:03:43,606
一个转变的2亿参数，

89
00:03:43,606 --> 00:03:46,950
他的碳足迹约为200磅[87公斤]二氧化碳，

90
00:03:46,950 --> 00:03:47,940
这很重要。

91
00:03:47,940 --> 00:03:49,980
但这距离五辆汽车还有很长的路要走。

92
00:03:49,980 --> 00:03:52,893
这甚至不是跨大西洋航班。

93
00:03:52,893 --> 00:03:55,020
真正重要的是当你这样做的时候

94
00:03:55,020 --> 00:03:56,190
你对神经架构的研究，

95
00:03:56,190 --> 00:03:58,560
当你调整超参数时，

96
00:03:58,560 --> 00:04:00,930
通过尝试所有可能的组合，

97
00:04:00,930 --> 00:04:01,763
等等等等

98
00:04:01,763 --> 00:04:02,596
这就是地方

99
00:04:02,596 --> 00:04:05,400
600,000 磅 [272.16 吨] 二氧化碳来自何处。

100
00:04:05,400 --> 00:04:08,490
这就是事情加起来的地方。

101
00:04:08,490 --> 00:04:11,880
但如果你有意识、认真地做事，

102
00:04:11,880 --> 00:04:16,410
因此，您的碳足迹不会那么重要，

103
00:04:16,410 --> 00:04:20,040
正如论文所建议的。一些工具

104
00:04:20,040 --> 00:04:22,111
找出您确切发行的二氧化碳。

105
00:04:22,111 --> 00:04:24,270
有一个名为“机器的在线工具”

106
00:04:24,270 --> 00:04:26,430
学习提交的计算器”可以使您

107
00:04:26,430 --> 00:04:29,010
例如，要手动输入您使用的设备，

108
00:04:29,010 --> 00:04:30,488
您使用的小时数，

109
00:04:30,488 --> 00:04:34,260
它的位置：本地或云中。

110
00:04:34,260 --> 00:04:35,640
然后他会给你一个估计

111
00:04:35,640 --> 00:04:37,560
您排放的二氧化碳量。

112
00:04:37,560 --> 00:04:40,200
另一个以编程方式执行此操作的工具，

113
00:04:40,200 --> 00:04:41,190
称为代码碳。

114
00:04:41,190 --> 00:04:45,112
你可以用pip安装它，你可以去他们的GitHub，

115
00:04:45,112 --> 00:04:48,120
本质上它与您的代码并行运行。

116
00:04:48,120 --> 00:04:49,085
所以你称它为

117
00:04:49,085 --> 00:04:51,060
然后你进行所有的锻炼。

118
00:04:51,060 --> 00:04:53,760
最后，它会给你一个估计：

119
00:04:53,760 --> 00:04:57,210
包含排放量估算值的 CSV 文件。

120
00:04:57,210 --> 00:04:59,250
这将使您能够进行比较。

121
00:04:59,250 --> 00:05:01,230
有一个视觉界面，您可以

122
00:05:01,230 --> 00:05:04,680
与驾驶汽车或电视相比。

123
00:05:04,680 --> 00:05:06,060
所以这可以给你一个主意

124
00:05:06,060 --> 00:05:07,740
您的程序范围也是如此。

125
00:05:07,740 --> 00:05:09,930
实际上，Codecarbon已经集成到Autillp中。

126
00:05:09,930 --> 00:05:12,270
我希望人们会使用它

127
00:05:12,270 --> 00:05:15,240
在整个过程中轻松跟随他们的节目

128
00:05:15,240 --> 00:05:17,523
培训和部署变压器。